| 1. Identificação | ||||||||||
| Tipo de Referência | Tese ou Dissertação (Thesis) | |||||||||
| Site | mtc-m21c.sid.inpe.br | |||||||||
| Código do Detentor | isadg {BR SPINPE} ibi 8JMKD3MGPCW/3DT298S | |||||||||
| Identificador | 8JMKD3MGP3W34R/3RKQRSE | |||||||||
| Repositório | sid.inpe.br/mtc-m21c/2018/08.13.13.05 | |||||||||
| Última Atualização | 2019:02.14.12.40.32 (UTC) simone | |||||||||
| Repositório de Metadados | sid.inpe.br/mtc-m21c/2018/08.13.13.05.25 | |||||||||
| Última Atualização dos Metadados | 2019:02.15.09.12.41 (UTC) administrator | |||||||||
| Chave Secundária | INPE-18116-TDI/2817 | |||||||||
| Chave de Citação | Lotte:2018:StDeRe | |||||||||
| Título | 3-dimensional (3D) urban mapping: a study of detection and reconstruction of building's facade through Structure-from-Motion (SfM) and Convolutional Neural Network (CNN)  | |||||||||
| Título Alternativo | Mapeamento urbano tridimensional (3D): um estudo sobre detecção e reconstrução de fachadas de edificações por Estrutura-por-Movimento (SfM) e Redes Neurais Convolutivas (CNN) | |||||||||
| Curso | SER-SRE-SESPG-INPE-MCTIC-GOV-BR | |||||||||
| Ano | 2018 | |||||||||
| Data | 2018-08-24 | |||||||||
| Data de Acesso | 27 abr. 2024 | |||||||||
| Tipo da Tese | Tese (Doutorado em Sensoriamento Remoto) | |||||||||
| Tipo Secundário | TDI | |||||||||
| Número de Páginas | 107 | |||||||||
| Número de Arquivos | 1 | |||||||||
| Tamanho | 10846 KiB | |||||||||
| 2. Contextualização | ||||||||||
| Autor | Lotte, Rodolfo Georjute | |||||||||
| Banca | Körting, Thales Sehn (presidente) Aragão, Luiz Eduardo Oliveira e Cruz de (orientador) Shimabukuro, Yosio Edemir (orientador) Wagner, Fabien Hubert Mitishita, Edson Aparecido Haala, Norbert Tommaselli, Antônio Maria Garcia | |||||||||
| Endereço de e-Mail | lotte@dsr.inpe.br | |||||||||
| Universidade | Instituto Nacional de Pesquisas Espaciais (INPE) | |||||||||
| Cidade | São José dos Campos | |||||||||
| Histórico (UTC) | 2018-08-13 13:05:25 :: lotte@dsr.inpe.br -> administrator :: 2018-08-14 11:11:43 :: administrator -> pubtc@inpe.br :: 2018-08-14 11:12:19 :: pubtc@inpe.br -> lotte@dsr.inpe.br :: 2018-10-19 19:52:38 :: lotte@dsr.inpe.br -> pubtc@inpe.br :: 2019-01-18 10:59:58 :: pubtc@inpe.br -> administrator :: 2019-02-07 10:43:44 :: administrator -> simone :: 2019-02-14 11:42:06 :: simone :: -> 2018 2019-02-14 11:42:06 :: simone -> administrator :: 2018 2019-02-14 11:42:54 :: administrator -> simone :: 2018 2019-02-14 12:55:42 :: simone -> administrator :: 2018 2019-02-15 09:12:41 :: administrator -> :: 2018 | |||||||||
| 3. Conteúdo e estrutura | ||||||||||
| É a matriz ou uma cópia? | é a matriz | |||||||||
| Estágio do Conteúdo | concluido | |||||||||
| Transferível | 1 | |||||||||
| Palavras-Chave | 3D urban mapping facade features deep-learning convolutional neural network structure-from-motion mapeamento 3D urbano feições de fachadas redes neurais convolutivas | |||||||||
| Resumo | Ambientes urbanos são regiões cuja variabilidade espectral e espacial é extremamente alta, com uma enorme variedade de formas e tamanhos que remetem igualmente ao sensoriamento remoto de alta resolução em aplicações envolvendo seus estudos. Devido ao fato de que esses ambientes podem crescer ainda mais, as aplicações relacionadas ao seu monitoramento em larga escala tendem a recorrer a sistemas autônomos que, juntamente com imagens de alta resolução, podem ajudar e até predizer situações cotidianas. Aliado à detecção inteligente dessas feições, representações 3D desses ambientes têm sido também objeto de estudo ao auxiliar na investigação da qualidade ambiental de áreas muito densas, padrões socioeconômicos de ocupação, na construção de modelos de paisagem urbanos, avaliação de efeitos de ilhas de calor, demolições de edifícios ou simulações de inundações para planos de evacuação e delimitação estratégica, entre inúmeros outros. Por estes aspectos, o objetivo desta pesquisa de doutorado foi explorar as vantagens de tais tecnologias, de forma a apresentar não só uma metodologia automática para detecção e reconstrução de elementos urbanos, como também compreender as dificuldades que ainda cercam o mapeamento automático desses ambientes. Como objetivos específicos: (i) Desenvolver uma rotina de classificação automática de feições de fachadas no domínio 2D, utilizando-se de uma Rede Neural Convolutiva (CNN). (ii) Com as mesmas imagens, obter a geometria da fachada pelas técnicas de Estrutura por Movimento (em inglês, Structure-from-Motion (SfM)) e Estéreo por Multi-Visadas (em inglês, Multi-View Stereo (MVS)). (iii) Avaliar o desempenho do modelo neural para diferentes cenários urbanos e estilos arquitetônicos. (iv) Avaliar o desempenho do modelo neural em uma aplicação real no Brasil, cuja arquitetura diferencia-se dos dados utilizados no treinamento do modelo neural. (v) Classificar o modelo 3D da fachada extraída utilizando-se das imagens segmentadas no domínio 2D pela técnica de Ray-Tracing (RT). Para tanto, a metodologia do trabalho foi dividida em análise 2D (detecção) e 3D (reconstrução). De forma que no primeiro, uma CNN supervisionada é utilizada para segmentar imagens ópticas terrestres de fachadas em seis classes: telhado, janela, parede, porta, sacada e lojas. Simultaneamente, a fachada é reconstruída pelo uso do pipeline SfM/MVS, obtendo-se a geometria da cena. Por fim, os resultados da segmentação no domínio 2D, juntamente com 3D, são então vinculados pela técnica de RT, obtendo-se finalmente o modelo 3D classificado. É demonstrado que a metodologia proposta é robusta em relação a cenários complexos. As inferências realizadas com o modelo neural CNN alcançou até 93% de acurácia, e 90% de F1-score para maioria dos conjuntos de dados utilizados. Para cenários desconhecidos, o modelo neural atingiu índices de acurácia inferiores, justificado pela elevada diferenciação de estilos arquitetônicos. Contudo, a utilização de modelos neurais deep, dão margem à novas configurações e uso conjunto com outras arquiteturas deep para a melhoria dos resultados, sobretudo, aos modelos não-supervisionados. Por fim, o trabalho demonstrou a capacidade autônoma de uma Rede Neural Convolutiva frente a complexidade dos ambientes urbanos, de modo a diversificar entre diferentes estilos de fachadas. Embora haja melhorias a serem realizadas quanto à classificação 3D, a metodologia é consistente e permitiu aliar métodos de última geração na detecção e reconstrução de fachadas, além de fornecer suporte à novos estudos e projeções sobre cenários ainda mais distintos. ABSTRACT: Urban environments are regions in which spectral and spatial variability are extremely high, with a huge range of shapes and sizes, they also demand high resolution images for applications involving their study. These environments can grow over time, applications related to their large-scale monitoring tend to rely on autonomous intelligent systems that, along with high-resolution images, can help and even predict everyday situations. In addition to the detection of these features, 3D representations of these environments have also been object of study to assist in the investigation of the environmental quality of very dense areas, occupational socioeconomic patterns, the construction of urban landscape models, building demolitions or flood simulations for evacuation plans and strategic delimitation, among countless others. The main objective of this study was to explore the advantages of such technologies, in order to present an automatic methodology for the detection and reconstruction of urban elements, and also to understand the difficulties that still surround the automatic mapping of these environments. Specifically we aimed: (i) To develop a routine of automatic classification of facade features in 2D domain, using a Convolutional Neural Network (CNN); (ii) Using the same images, obtain the facade geometry using Structure-from-Motion (SfM) and Multi-View Stereo (MVS) techniques; (iii) Evaluate the performance of the CNN for different urban scenarios and architectural styles; (iv) Evaluate the performance of the CNN in a real application in Brazil, whose architecture differs from the datasets used in the neural model training; and (v) Classify the 3D model of the extracted facade using images segmented in 2D domain by the Ray-Tracing (RT) technique. In order to atempt that, the methodology was splited into 2D analysis (detection) and 3D (reconstruction). So in the first, a supervised CNN is used to segment terrestrial optical images of facades into six classes: roof, window, wall, door, balcony and shops. At the same time, the facade is reconstructed using the SfM/MVS technique, obtaining the geometry of the scene. Finally, the results of segmentation in both domains, 2D and 3D, are then merged by the Ray-Tracing technique, finally obtaining the 3D model classified. It is demonstrated that the proposed methodology is robust toward complex scenarios. The inferences made with the CNN reached up to 93% accuracy, and 90% F1-score for most of the datasets used. For scenarios not used for training, the neural model reached lower accuracy indexes, justified by the high differentiation of architectural styles. However, the use of deep neural models gives chances for new configurations and use with other deep architectures to improve results, especially for unsupervised models. Finally, the work demonstrated the autonomous capacity of a CNN against the complexity of urban environments, in order to diversify between different styles of facades. Although there are improvements to be made regarding 3D classification, the methodology is consistent and allowed to combine state-of-the-art methods in the detection and reconstruction of urban elements, as well as providing support for new studies and projections on even more distinct scenarios. | |||||||||
| Área | SRE | |||||||||
| Arranjo | urlib.net > BDMCI > Fonds > Produção pgr ATUAIS > SER > 3-dimensional (3D) urban... | |||||||||
| Conteúdo da Pasta doc | acessar | |||||||||
| Conteúdo da Pasta source |
| |||||||||
| Conteúdo da Pasta agreement |
| |||||||||
| 4. Condições de acesso e uso | ||||||||||
| URL dos dados | http://urlib.net/ibi/8JMKD3MGP3W34R/3RKQRSE | |||||||||
| URL dos dados zipados | http://urlib.net/zip/8JMKD3MGP3W34R/3RKQRSE | |||||||||
| Idioma | en | |||||||||
| Arquivo Alvo | publicacao.pdf | |||||||||
| Grupo de Usuários | gabinete@inpe.br lotte@dsr.inpe.br pubtc@inpe.br | |||||||||
| Visibilidade | shown | |||||||||
| Permissão de Leitura | allow from all | |||||||||
| Permissão de Atualização | não transferida | |||||||||
| 5. Fontes relacionadas | ||||||||||
| Repositório Espelho | urlib.net/www/2017/11.22.19.04.03 | |||||||||
| Unidades Imediatamente Superiores | 8JMKD3MGPCW/3F3NU5S | |||||||||
| Divulgação | BNDEPOSITOLEGAL | |||||||||
| Acervo Hospedeiro | urlib.net/www/2017/11.22.19.04 | |||||||||
| 6. Notas | ||||||||||
| Campos Vazios | academicdepartment affiliation archivingpolicy archivist callnumber contenttype copyholder copyright creatorhistory descriptionlevel doi electronicmailaddress format group isbn issn label lineage mark nextedition notes number orcid parameterlist parentrepositories previousedition previouslowerunit progress readergroup resumeid rightsholder schedulinginformation secondarydate secondarymark session shorttitle sponsor subject tertiarymark tertiarytype url versiontype | |||||||||